De Cosmos werden in 1971 opgericht door de Turkse zakenmannen en broers Nesuhi en Ahmet Ertegün. Ze hadden fortuin gemaakt in de entertainmentindustrie met de verkoop van hun onderneming Atlantic Records. De gebroeders Ertegun zorgden voor een groot impact op het Amerikaanse voetbal door talloze vedetten naar New York te halen en de Europese sport te introduceren in de Verenigde Staten, daar waar een overgroot deel van de bevolking niet bekend was met de spelregels. Clive Toye, de eerste algemeen directeur van de club, bedacht de naam Cosmos. Hij had zich laten inspireren door baseballclub New York Mets, waarvan Mets een afkorting is van metropolitans. Toye wilde met zijn team nog een stap verder gaan en noemde het cosmopolitans ofwel wereldburgers, afgekort tot Cosmos.
Hoewel op 10 december 1970 de Cosmos officieel toetraden tot de North American Soccer League,[bron?] speelden zij pas op 17 april 1971 hun eerste wedstrijd.[bron?] De NASL was zelf toen al bezig was aan haar vierde seizoen. Veel tijd hadden de Cosmos niet nodig om te integreren binnen het Amerikaanse betaald voetbal, want in haar tweede seizoen wist het al haar eerste kampioenschap te behalen. De titel kon in 1973 niet geprolongeerd worden, want het team werd in de halve finale van de play offs uitgeschakeld door Dallas Tornado. Toch speelde Cosmos in de eerste seizoenen vrijwel voor bijna lege tribunes.
In 1975 werd officieel bekend dat de voetballegende Pelé, dankzij de bemiddeling van minister Henry Kissinger, de overstap zou maken naar de New York Cosmos. In New York verdiende hij een loon dat ruimschoots superieur was aan zijn salaris bij Santos FC.[1] Pelé maakte zijn debuut op 18 juni 1975 voor zo'n 22.500 toeschouwers. De Braziliaan trok vanaf dan de fans in groten getale naar de stadions voor de NASL-wedstrijden en inspireerde veel Amerikaanse jongeren om deze relatief onbekende sport uit te proberen.
Ondanks de komst van Pelé wonnen de New York Cosmos echter nog geen prijzen. Daarom werd in 1976 nog een wereldster aangetrokken: de Italiaanse spits Giorgio Chinaglia. In 1977 werden vervolgens ook Franz Beckenbauer en Carlos Alberto Torres ingelijfd. Het seizoen 1977 werd hét succesjaar voor de New York Cosmos: de club werd kampioen en trok een recordaantal van 80.000 toeschouwers.
Het volgende seizoen, in 1978, wisten de New York Cosmos het kampioenschap te prolongeren door met 3-1 te winnen van Tampa Bay Rowdies. Om het vertrek van Pelé te compenseren had Cosmos Dennis Tueart en Vadislav Bogicevic aangetrokken. Na het wereldkampioenschap voetbal van 1978, waren ook de Nederlanders erg in trek in New York. Wim Rijsbergen en Johan Neeskens werden voor flinke bedragen aangetrokken om hun kunsten te vertonen. Johan Cruijff speelde ook enkele wedstrijden als testspeler voor de Cosmos. Hoewel er geruchten waren dat Cruijff definitief zou overkomen, tekende hij uiteindelijk bij de Los Angeles Aztecs. In 1980 kwam ook Belgisch international François van der Elst naar New York Cosmos. De club werd wederom kampioen en aan de hand van de stervoetballers ontwikkelden de Amerikaanse talenten Rick Davies, Jeff Durgan en Angelo DiBernardo zich ook sterk. De New York Cosmos werd de eerste voetbalclub die in de Verenigde Staten van het oosten tot het westen een grote populariteit kende.
In 1982 werd de vijfde NASL-titel in de wacht gesleept, nadat de Seattle Sounders werden verslagen. New York Cosmos groeide met haar sterspelers uit tot de toonaangevende club van de NASL en een van de meest aansprekende clubs ter wereld. De club reisde de hele wereld over en versloegen veel grote clubs van naam, waaronder in de strijd om de Trans-Atlantische beker, een internationaal bekertoernooi tussen Amerikaanse en Europese voetbalclubs. Deze beker werd drie keer gewonnen, in 1980, 1983 en 1984.
Talloze vedetten waren naar de Amerikaanse oostkust gelokt om New York Cosmos van allure te bezorgen, maar door een gebrek aan populariteit van de voetbalsport in de Verenigde Staten, namen de schulden steeds verder toe. Hoewel de New York Cosmos soms wel 40.000 toeschouwers konden aantrekken, zaten de tribunes niet altijd vol. De sterspelers als Beckenbauer en Chinaglia verlangden weer naar Europa, waardoor Cosmos haar grootste sterspelers kwijtraakten. Voor veel clubs in de competitie was het animo te laag, maar werden er wel riante salarissen betaald aan de grote spelersnamen, die echter maar slechts werden herkend door Europese immigranten op het continent. Nadat de NASL-competitie wegens een gebrek aan belangstelling in 1984 definitief werd stopgezet, werd één jaar later, in 1985, ook de New York Cosmos opgeheven en hield het team op te bestaan. De club werd tot dusver vijf keer kampioen van Noord-Amerika.
Op 1 augustus 2010 maakt de voormalige Braziliaanse Cosmos-speler Pelé bekend dat de New York Cosmos zouden terugkeren in de Amerikaanse voetbalwereld. Onder de nieuwe voorzitter Paul Kemsley, die eerder al bestuurslid was bij het Engelse Tottenham Hotspur FC, maakte New York Cosmos een herstart. Pelé werd meteen benoemd tot erevoorzitter en in januari 2011 werd Éric Cantona binnengehaald voor de functie van technisch directeur.[2] Met hen diende de club zo snel mogelijk een plek in de Major League Soccer te veroveren. De vernieuwde club verwachtte een terugkeer op het hoogste Amerikaanse niveau in 2013.
Op 12 juli2012 kondigt The Cosmos aan om in februari 2013 alvast toe te treden tot de North American Soccer League, de tweede divisie van de Major League Soccer.[3] Uiteindelijk kondigde MLS commissaris Don Garber aan dat niet New York Cosmos, maar New York City FC voor 100 miljoen dollar een licentie zou krijgen om vanaf 2015 deel te nemen aan de Major League Soccer.[4] Hierop blijft de club acteren in de NASL. Technisch directeur Cantona verlaat de club echter in november 2012.
Voor het eerste seizoen sinds de heroprichting werd Emirates Airlines gevonden als shirtsponsor. Hiermee schaarde de ambitieuze club zich in hetzelfde rijtje als de grote clubs AC Milan, Arsenal, Paris Saint-Germain, Real Madrid en Olympiakos.[5]
De teams in de NASL spelen twee competities per seizoen, namelijk de Spring Championship en de Fall Championship, maar omdat de club uit New York pas op 3 augustus2013 instroomde deed het in het seizoen 2013 slechts mee aan de tweede competitie. The Cosmos bleek een solide selectie te hebben, won de competitie overtuigend en plaatste zich als herfstkampioen vervolgens voor de NASL-finale, waarin ze tegen de voorjaarskampioen Atlanta Silverbacks zouden spelen om de Super Bowl 2013. Dankzij een doelpunt van Marcos Senna in de 50e minuut won New York met 1-0. Cosmos won daarmee direct in haar eerste seizoen een belangrijke prijs.
Voor het seizoen 2014 leken de grote namen nog niet direct haalbaar voor de New Yorkers. Met het aantrekken van de Nederlander Hans Denissen[6] en de Noor Mads Stokkelien waren de twee voormalige jeugdinternationals de belangrijkste versterkingen. Op 14 juni2014 won Cosmos de Battle for New York door in de vierde ronde van de Lamar Hunt U.S. Open Cup de stadsrivaal New York Red Bulls met 3-0 te verslaan.[7]
In oktober 2014 strikt New York Cosmos haar eerste wereldster. Voor het seizoen 2015 versterkt de selectie zich met de Real Madrid-legende Raúl.[8] In januari 2015 deed de club eveneens een poging Samuel Eto'o naar Amerika te halen, maar die koos voor een langer verblijf in Europa.[9]